Vào những năm thời kỳ Pháp thuộc, ở số 14 Hàng Sơn có một gia đình họ Đoàn sinh sống, họ thường lấy nhà mình làm nơi cưu mang nghĩa quân Đề Thám. Chủ nhà hay làm một món chả cá rất ngon đãi khách, lâu dần thành quen, những vị khách ấy đã giúp gia đình mở một quán chuyên bán món ăn ấy, vừa để nuôi sống gia đình, vừa làm nơi tụ họp. Lâu dần, hai tiếng 'Chả Cá' được gọi thành tên phố. Trong nhà hàng luôn bày một ông Lã Vọng - Khương Tử Nha ngồi bó gối câu cá - biểu tượng của người tài giỏi nhưng đang phải đợi thời. Vì thế khách ăn quen gọi là Chả cá Lã Vọng, ngày nay trở thành tên nhà hàng và cũng là của món ăn. Bí quyết làm chả cá chỉ truyền lại cho người con cả họ Đoàn.